Cao Hùng được thành lập vào gần cuối thế kỷ 17, ngôi làng khi đó được gọi là Đả Cẩu (tiếng Trung: 打狗; bính âm: Dǎgǒu; Bạch thoại tự: Táⁿ-káu; nghĩa đen: "đánh chó") bởi những người nhập cư Phúc Kiến vào thời kỳ đầu. Tên gọi này bắt nguồn từ ngôn ngữ Makatao của thổ dân bản địa và có nghĩa là "rừng tre". Người Hà Lan đã xây dựng nên phào đài Zeelandia vào năm 1624 và đánh bại các bộ lạc thổ dân bản địa vào năm 1635. Họ gọi khu vực này là Tancoia. Trịnh Thành Công đã trục xuất người Hà Lan và lập nên một chính quyền phục Minh vào năm 1662. Trịnh Kinh, con trai của Trịnh Thành Công, đã đổi tên làng thành Vạn Niên Châu (giản thể: 万年洲; phồn thể: 萬年州; bính âm: Wàn Nián Zhōu; nghĩa đen: "vùng đất vạn năm") vào năm 1664. Tên gọi Đả Cẩu lại được phục hồi vào cuối thập niên 1670, khi khu vực được mở mang một cách đột ngột với những người nhập cư đến từ Trung Quốc đại lục. Năm 1684, nhà Thanh đã sáp nhập Đài Loan và đổi tên khu vực bao gồm Cao Hùng ngày nay thành huyện Phượng Sơn (giản thể: 凤山县; phồn thể: 鳳山縣; bính âm: Fèngshān xiàn), là một phần của phủ Đài Loan. Khu vực Cao Hùng ngày nay đã lần đầu tiên được phát triển như một khu vực cảng vào thập niên 1680.

Năm 1895, Đài Loan bị nhượng cho Nhật Bản theo các điều khoản của Hiệp ước Shimonoseki. Vào thời kỳ này, tên gọi của thành phố chuyển từ Đả Cẩu (打狗) (tiếng Đài Loan: Táⁿ-káu) thành Cao Hùng (高雄, romaji: Takao). Mặc dù hai tên gọi phát âm tương tự trong tiếng Nhật, song ngữ nghĩa của nó đã thay đổi từ "đánh chó" sang "cao lớn hùng vĩ" [1]. Người Nhật phát triển Takao, đặc biệt là cảng. Do là một căn cứ quân sự và trung tâm công nghiệp quan trọng, thành phố đã bị quân đội Hoa Kỳ ném bom rất nhiều trong Chiến tranh thế giới thứ hai.

Sau khi Trung Hoa Dân Quốc kiểm soát Đài Loan vào năm 1945, tên gọi bằng Hán tự mà người Nhật đặt cho thành phố vẫn được sử dụng, chính quyền sử dụng phiên âm Latinh theo hệ Wade-Giles là "Kao-hsiung".[2] Cao Hùng được Hành chính viện phê chuẩn trở thành một thành phố đặc biệt vào ngày 1 tháng 7 năm 1979.